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1- Le role d'un analyseur lexical 


L'analyseur lexical est charge de lire le texte d' entree, 
caractere par caractere, de la gauche vers la droite et isoler 
les mots et leur classe. 

De plus, il doit: 

- eliminer les blancs (espaces, tabulations, fin de lignes) 
et les commentaires. 

- detecter les erreurs et associer des messages d'erreurs. 
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1- Le role d'un analyseur lexical 



Interaction entre analyseur lexical et analyseur syntaxique. 
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2- Terminologie 

- Unite lexicale : est une classe qui regroupe un 
ensemble de mots. 

- Modele : est une regie qui decrit un ensemble de chaines 
associees a la meme unite lexicale. 

- lexeme : est une suite de caracteres du texte d'entree qui 
concorde avec le modele. 

Exemple : 35 est un lexeme (un mot) qui appartient a l'unite 
lexicale (la classe) nombre. 
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2- Terminologie 

Remarques : 

Dans de nombreux langages, les classes suivantes couvrent la 
plupart des unites lexicales: 

1- Une unite lexicale pour chaque mot cle. 

2- Des unites lexicales pour les operateurs, soit individuellement, 
soit par classes. 

3- Une unite lexicale pour les identificateurs (noms de variables, 
fonctions, tableaux, structures...). 

4- Une ou plusieurs unites lexicales pour les nombres et les 
chaines. 

5- Une unite lexicale pour chacun des signes de ponctuation, tels 
que les parentheses gauche et droite, la virgule , le point- virgule... 
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3- Specification des unites lexicales 


3.1- Chaines et langages : 

Definitions generates: 

- Un alphabet Lou une classe de caracteres definit un 
ensemble fini de symboles. 

Exemples : {0,1} : l'alphabet binaire 

ASCII : l'alphabet informatique 

- Une chaine ou un mot sur un alphabet Lest une 
sequence finie de symboles extraits de cet ensemble. 
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3- Specification des unites lexicales 

Soit une chaine s : 

- prefixe de s est une chaine obtenue en supprimant un 
nombre quelconque (meme nul) de symboles a la fin de s. 

- suffixe de s est une chaine obtenue en supprimant un 
nombre quelconque ( meme nul ) de symboles au debut de s. 

- sous-chaine de s est une chaine obtenue en supprimant un 
prefixe et un suffixe. 

- sous-suite de s est une chaine obtenue en supprimant un 
nombre quelconque ( meme nul ) de symboles non 
rwcesscuremerU comecutifs . 

- Un langage est un ensemble quelconque de chaines 
construites sur un alphabet fixe. 
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3- Specification des unites lexicales 

3.2- Operations sur les langages : 

Soit L et M deux langages: 

- Union de L et M : L U M = { Vs / s e Lou s e M} 

- Concatenation de L et M : LM = { st / s e Let t e M } 

U oo B 

;=o L‘ 

L * denote un nombre quelconque (meme nul) de 
concatenation de L. 

On note L° = {e} 

- Fermeture positive de L : L + = LL L' 
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3- Specification des unites lexicales 

Exemples: 

SoitL = U {a,b,...,z} 

et C = {0,1, ...9} 

A partir de L et C, nous pouvons produire d'autres langages. 

-LUC: ensemble des lettres et chiffres, 

- LC : ensemble des chames constitutes d'une lettre suivie d'un 
chiffre, 

- L 4 : ensemble des chames constitutes de 4 lettres, 

- C + : ensemble des entiers naturels, 

- L(LUC) : ensemble des chames constitutes d'une lettre suivie 
d'une chaine de lettres et de chiffres ou d'une chame vide. 
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3- Specification des unites lexicales 

3.3- Expressions regulieres: 

Une expression reguliere est une notation qui permet de 
decrire un ensemble (une classe) de chaines de caracteres. 

Exemple: Un nombre entier non signe est une chaine 
constitute d'une suite de chiffres, au moins un. 

L'expression reguliere associee est: ( chi f f r e ) + 


+ est un operateur unaire post-fixe qui veut dire un ou 
plusieurs fois. 
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3- Specification des unites lexicales 


Les regies qui definissent les expressions regulieres sur un 

alphabet E sont: 

> 8 est une expression reguliere qui denote {e} c-a-d 
l'ensemble dont le seul element est la chaine vide 8. 

> si a est un symbole de l'alphabet E, alors a est une 
expression reguliere qui denote (a), c-a-d l'ensemble 
constitue de la chaine a. 


Prof. M.D. RAHMANI 


Compilation 


2015/16 



3- Specification des unites lexicales 


Soit r et s deux expressions regulieres qui denotent les 
langages L(r) et L(s), alors: 

> (r) I (s) est une expression reguliere qui denote (L(r)) U (L(s)). 

> (r)(s) est une expression reguliere qui denote (L(r))(L(s)). 

> (r)* est une expression reguliere qui denote (L(r))*. 


> Les langages denotes par les expressions regulieres sont 
appeles langages reguliers. 
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3- Specification des unites lexicales 

Exemples: 

a | b*c : les chaines constituees, soit d'un a, ou d'un 
nombre quelconque, eventuellement nul, de la lettre b suivie 
de la lettre c. 

a I b = {a, b} 

(alb) (alb) = (aa, ab,ba,bb} 

Definition: 

Si deux expressions r et s denotent le meme langage, on 
dit qu'elles sont equivalentes et on ecrit: r=s 

Exemple : (a|b)= (b|a) 
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3- Specification des unites lexicales 


Proprietes algebriques sur les expressions regulieres: 

Soit r,s et t des expressions regulieres. 

r | s = s | r : I'operateur / (ou) est commutatif. 
r|(s|t) = (r|s)|t : I'operateur / est associatif. 

( r s ) t = r ( st ) : la concatenation est associative. 

r ( s 1 1 ) =r s | rt : la concatenation est distributive par rapport au / 
er = r e = r : e est l' element neutre de la concatenation. 
r* =(r|s)+ : £ est inclus dans une fermeture. 
r** = r* : * est idempotent 

Remarque : la chaine vide 8 = s° 
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3- Specification des unites lexicales 

Notations: 

* est un operateur unaire poste-fixe qui veut dire zero, un ou 
plusieurs fois . 

+ est un operateur unaire poste-fixe qui veut dire un ou plusieurs 
fois . 

r+ = r r* = r*r 
r* = r+|£ 

? est un operateur unaire poste-fixe qui veut dire zero ou une fois . 

r? = r|£ 

[ a-z ] designe un element (une lettre) de cette classe. 

[a-z] = alblc.Jz 
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3- Specification des unites lexicales 

- La longueur d'une chaine s est notee: 1 5 1 

La longueur de la chaine vide notee £ : I £l = 0 

- L' ensemble des mots sur l' alphabet E est note E * 

- Un mot u eE * est facteur du mot w e E* s'il existe v, v'eE* 
tels que: w = v uv'. 

- Un motfini u est periodique si u = x n pour n>2. 

Tout mot non periodique est dit primitif . 
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3- Specification des unites lexicales 

Conventions: 


1- L' operateur unaire poste-fixe * a la plus haute priorite et est 
associatif a gauche. 

2- Les operateurs + et ? ont la meme priorite et la meme 
associativite que *. 

2- La concatenation a la deuxieme priorite et est associative a 
gauche. 

3- Le I a la plus faible priorite et est associatif a gauche. 

Selon ces conventions, (a)l((b)*(c)) est equivalente a alb*c 
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3- Specification des unites lexicales 


Exemples cTexpressions regulieres: 

> Un identificateur: lettre (lettre | chif f re) * 

= [a-zA-Z] [a-zA-ZO-9]* 

> Un entier signe ou non: (+|-)? ( chif fre) + 

= [+-] ? [0-9] + 

> Un nombre decimal: (+ | -) ? (chif fre) + ( . (chif fre) +) ? 

> Un reel: 

(+ | ) ? (chif fre) + ( . (chif fre) +) ? ( (e | E) (+ | ) ? (chif fre) +) ? 

= [+-]?[0-9]+(. [0-9] +) ? ( (e | E) (+ | -) ? [0-9] +) ? 
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3- Specification des unites lexicales 

3.4- Definitions regulieres: 

Une definition reguliere est une suite de definitions de la 


forme: 

H. 

> r 

Chaque dj est un nom distinct 

U 1 

> 

d 2 

* r 2 

et chaque r; est une expression 

• 

• 

reguliere sur les symboles : 

• 

• 

Yj U {djyd2V^i-l} 

d„ 

> r 

A n 



Nous allons voir quelques exemples de definitions regulieres : 
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3- Specification des unites lexicales 


Exemples : 

1 - Definition reguliere d'un identificateur: 

let t re > A | B | ... |Z|a|b| ... |z 

chiffre > 0 | 1 | 2 . . . | 9 

id > lettre (lettre | chiffre) * 


2- Definition reguliere des entiers signes et non signes: 

chiffre > 0 | 1 | 2 . . . | 9 

entier > [+ I -]? (chiffre) + 
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Specification des unites lexicales 

3- Definition reguliere d'un reel: 

L'alphabet £={0,1, . . .,9, . , e, E, +, - } 

Une definition reguliere sera: 

chif f re > 0 | 1 | 2 . . . | 9 

chiffres >(chiffre) + 

p_entiere > (+|-)? chiffres 

p_decimale >(. chif f res ) ? 

p-puissance > ((e|E) (+|— )? chiffres)? 

reel >p_entiere p_decimale p_puissance 
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Soit le fragment de grammaire des instructions conditionnelles: 

inst > si (exp) alors inst 

| si (exp) alors inst sinon inst 
| aut re_inst 

exp > terme operel terme 

| terme 

terme > id 

| nb 

Les terminaux de cette grammaire sont: 

si, alors, sinon, (, ), operel, id et nb . 

Pour les reconnaitre, nous allons d'abord donner les definitions 

regulieres associees. 
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4.1- Definitions regulieres des terminaux de la grammaire: 

A noter qu'ilfaut reconnaitre les blancs aussi pour les ignorer. 

> espace | tabulation | f in_de_ligne 


delim 

blanc 

IF 

THEN 

ELSE 

operel 

id 

nb 


-> (delim) + 


-> si 


-> alors 


-> smon 


■> < < = 


<> > 


> 


■>[A-Za-z] [A-Za-zO-9]^ 


->(+!-)?[ 0-9] + ( . [0-9])? ( (+ | — ) ? (e | E) [0-9]+) 


Remarque : Les commentaires et les blancs sont 
traites comme des modeles qui ne retournent 
aucune unite lexicale . 

Prof. M.D. RAHMANI Compilation 2015/16 


4.2- Diagramme de transition : 

Un diagramme de transition est un organigramme oriente qui 
decrit les actions a realise r par I'analyseur lexical. 

II est constitue d'etats et de transition entre etats, definis par 
les notations suivantes: 

un etat 

■» un arc ou une transition 

etat d'acceptation, c-a-d que le lexeme est 
reconnu. 

etat d'acceptation avec recul 


o 




Remarque : en pratique, une transition correspond a la 
consommation d'un caractere et un seul. 
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1- Diagramme de transition des b lanes : 



(ne rien retourner) 


Remarque: autre veut dire, autre que les autres arcs sortants du 

meme etat. 


Dans ce cas, autre veut dire autre qu'un delimiteur. 
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2- Diagram me de transition des ident if icateurs : 



autre 



retourne(id,pointeur sur lexeme) 


Remarque: autre veut dire, autre que lettre et chiffre. 
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Diagramme de transition des entiers siqnes ou non 



Remarque: autre veut dire, autre que les chif fres . 
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Diagramme de transition des nombres dec imaux non signes 



Expression reguliere: (chiffre) + . (chiffre) + 


Remarque : Nous exigeons par ce diagramme au moins un 

chiffre apres le point. 
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3- Diagramme de transition des nombres reels : 


autre 



A I'etat 14 d' acceptation avec recul, nous retournons I'unite lexicale 
nb et un pointeur sur le lexeme reconnu. 
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4- Diagramme de transition des operateurs de relation 


Expression reguliere: < | <= | <> | > | >= | == | <> 

(operel, PGE) 


debut 



autre 


,8* (operel, PGQ) 
(operel, EGA) 


^ 22 ^ (operel, DIF) 
(operel, PPE) 


Q * (operel, PPQ) 
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5- Diagram me de transition des parentheses 


debut 


Expression reguliere: ' ( ' I ' ) ' 
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4- Reconnaissance des unites lexicales 


4.2- Implantation des diagrammes de transition : 
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4.3- La table de symboles : 

La table des symboles est une structure de donnees constituee 
des champs suivants: 

- un pointeur (pt rlex) pointant sur l'adresse de la 1 erc occurence 
d'un lexeme figurant dans le tampon (lexemes); 

- une chaine de caracteres (uni lex) qui contient l'unite lexicale 
du lexeme detec te; 

- un attribut qui est un indice de la position du lexeme dans la table 
des symboles. 
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4- Reconnaissance des unites lexicales 


Supposons que le texte d'entree est: " si gamma=10 alors aire >= 78 sinon g>1.3" 


La table des symboles aura la forme suivante: 

ptrlex 

unilex 

indice 1 

0 

si 

1 

3 

id 

2 

9 

operel 

3 

n 

nb 

4 

14 

alors 

5 

20 

id 

6 

25 

operel 

7 

28 

nb 

8 

31 

sinon 

9 

37 

id 

10 

39 

operel 

11 

41 

nb 

12 
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La chaine engendree est: 

" si$gamma$=$l 0$alors$aire$>=7 8$sinon$g$>$l . 3 " 

Pour implanter la table des symboles, nous avons besoin des 2 
fonctions suivantes: 

- une fonction d'insertion; 

- une fonction de recherche. 
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L'algorithme de la fonction d'insertion: 


Fonction inserer 
debut 

i n d i c e < indice + 1 ; creation d'une nouvelle entree de la TS 

TS [indice] . pt r 1 ex < l'adresse du debut du lexeme dans le 

tampon lexemes 

TS [indice] .unilex < l'unite lexicale associee 

retourner (indice) 
fin inserer 
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^4- Reconnaissance des unites lexicales 

L'algorithme de la fonction de recherche: 

Fonction chercher 
debut 


j < 0 ; pour parcourir la TS 

trouve=faux; boolean pour arreter la recherche 

tant que (j<taille de la TS et non trouve) faire 

si TS [ j ] .unilex=l'UL du lexeme a chercher alors 
si TS [ j ] .ptrlex pointe sur le lexeme 
alors 

trouve < vrai; 

retourne ( j ) ; 
sinon j < j+1; 

sinon trouve retourne (-1) 

Fin Fonction chercher 
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4- Reconnaissance des unites lexicales 


Un programme de la TS en langage C: 
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Un programme ecrit en langage LEX construit d'une maniere 
automatique un analyseur lexical. 


II prend en entree un ensemble d ' expressions regulieres et de 
definitions regulieres et produit en sortie un code cible en langage C. 


Ce code en langage C doit etre compile par le compilateur du 
langage C pour produire un executable qui est un analyseur lexical 
correspondant au langage defini par les expressions regulieres d'entree. 


Plusieurs langages derives de LEX existent; 

- Flex produit du C++ 

- JFlex produit du Java 

- Led produit du Caml 
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angage FLEX 


La compilation d'un code source en LEX se fait en deux etapes. 


expressions 

regulieres 




lex 


» 


lex.yy.c 


lex.yy.c 


autres modules 



* executable 


source a 
analyser 




executable 




resultats de l'analyse 
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5.1- Structure d'un programme FLEX : 

Un programme source en langage lex est constitue de 3 sections 
delimitees par %%: 

// 1 eie partie: declarations 

%{ 

declarations pour le compilateur C 

%} 

definitions regulieres 

o, o 
o o 

// 2 hme partie: regies de traduction 

expressions regulieres + actions a realiser 

o, o 
o o 

// 3® me partie fonctions en C 

Fonctions annexes en langage C 
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- La L re partie est constitute de: 

- declarations en langage C des bibliotheques, variables, 
structures, unions... 

- declarations de definitions regulieres utilisables par les 
regies de traduction. 


La 2 hme partie a la forme: 

{ action j} 
m 2 { action 2 } 

{aciond 

ir^ {action n } 


et 


avec une expression reguliere ou une 
definition reguliere de la L re partie 

action f est faction a realiser par l'analyseur 
lexical si un lexeme est accepte par m t . 
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La 3 eme partie est une suite de fonctions en C qui aident a l'analyse 
dans l'analyse par les regies de traduction de la 2 cmc partie. 

Cette partie peut contenir une fonction main du langage C. 

Remarques : 

- Le code doit commencer a la 1 cre colonne. 

- La L re partie et la derniere sont facultatives. 

- Le fichier LEX doit avoir l'extension .1 

Exemple du code en langage LEX : e space. I 

o, 2 - 
o o 

[ \t] {/* supprime les espaces et tabulations */} 

bslama {exit(O);} 
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5.2- Ecriture d'un analyseur lexical avec FLEX : analex.l 

l fere partie : 

//declarations en C 

%{ 

#include<stdio.h> 

%} 

delim [ \t\n] 
bl {delim}+ 

lettre [a-zA-Z] 
chiffre [0-9] 

id { lettre }({ lettre } | { chiffre }) * 

nb ( \+ | \-) ?{ chiffre }+( \ .{ chiffre } + )?( (e | E) ( \+ I \-) ?{ chiffre } + ) ? 

% % 

Remarque : Les caracteres +, - et . sont precedes de \ pour les distinguer des 
operateurs correspondants. 
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angage FLEX 


2 eme partie : 


{bl} 

sinon 

si 

alors 

{id} 

{ nb } 

'<=" 

'<>" 

’>=" 


ii 


' (" 
') " 


{/* supprimer de la sortie */} 

{printf ("\n Mot cle: ELSE\n");} 

{printf ("\n Mot cle: IF\n") ; } 

{printf ("\n Mot cle: THEN\n") ; } 

{printf (" \n Ident if icateur : %s \n" , yytext ) ; } 

{printf ( "\n Nombre :%s\n", yytext) ; } 

{printf ("\n Operateur relationnel: PPE\n") ; } 
{printf ("\n Operateur relationnel: DIF\n") ; } 
{printf ("\n Operateur relationnel: PPQ\n");} 
{printf ("\n Operateur relationnel: PGE\n") ; } 
{printf ("\n Operateur relationnel: PGQ\n");} 
{printf ("\n Operateur relationnel: EGA\n" );} 
{printf ("\n PO\n") ; } 

{printf ("\n PF\n") ; } 

{printf ("\n%s: Caractere non reconnu\n" , yytext ); } 


o o 
o o 
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int main ( ) 

{ 

FILE *fichier; 

printf("Nom du fichier a analyser") ; 

scanf ("%s", & fichier) ; 

yyin=f ichier ; 

yylex ( ) ; 

return 0; 
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est un operateur qui veut dire tous caractere sauf le retour a la 
ligne. 

" A " est un operateur pour le complementaire d'une classe. 
yytext est un pointeur sur la chaine analysee. 
yyin correspond a l'entree 

yylex ( ) est la fonction principale du programme ecrit en LEX. 
Options de compilation : 

Avec LEX: 1/ lex analex.l produit lex.yy.c 

2/ cc lex.yy.c -ll pour library lex 
Avec FLEX: 1 1 flex analex.l produit lex.yy.c 

2/ gcc lex.yy.c -Ifl pour library fast lex 
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-6- Automates a etats finis (AEF) 

Les automates a etats finis sont des graphes orientes a l’image des 
diagrammes de transition, avec certaines differences: 


1- Les automates a etats finis sont des reconnaisseurs ; its disent 
simplement "oui" ou "non" a propos de chaque chaine d'entree. 


2- II y'a 2 types d'automates a etats finis: 

> Les automates a etats finis non deterministes (AFN) n'ont aucune 
restrictions sur les etiquettes de leurs arcs. 

Un symbole peut etiqueter plusieurs arcs partant d'un meme etat, et la 
chaine vide 8 est une etiquette possible. 

> Les automates a etats finis deterministes (AFD), pour lesquels, ne 
peuvent pas partir plusieurs transitions du meme etat avec le meme 
caractere et n'accepte pas d'e-transition.. 
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^-6- Automates a etats finis (AEF) 

6.1- Automates a etats finis non deterministes (AFN) : 

Un AFN se compose de: 

■ Un ensemble fini S d'etats. 

■ Un ensemble E de symboles d'entree, l'alphabet du langage. 

On considere que la chaine vide £, n 'est jamais un membre de 
£ 

■ Une fonction de transition qui donne pour chaque etat et pour 
chaque symbole de E U {£}, l'ensemble des etats suivants. 

■ Un etat s 0 appartenant a S, qui est l'etat de depart. 

■ Un ensemble d'etats F, sous-ensemble de S, l'ensemble des etats 
d'acceptation ou etats finaux. 
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^6- Automates a etats finis (AEF) 

6.1- Automates a etats finis non deterministes (AFN) : 

Exemple : L'AFN qui reconnait le langage defini par l'expression 
reguliere : ( a | b ) * abb 





Remarque : Le non determinisme ici est associe a deux arcs 

sortants de Vetat 0 avec le meme symbole a. 
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6.2- Automates a etats finis deterministes (AFD): 

Un AFD est un cas particular d'un AFN ou: 

- il n'y a aucun arc etiquete par 8, 

- pas plus d'un arc avec le meme symbole sortant d'un etat. 

Un AFN est une representation abstraite d'un algorithme de 
reconnaissance des chaines d'un langage. 

Un AFD est un algorithme concret de reconnaissance de chaines. 

Remarque : Toute expression reguliere et tout AFN peuvent etre 

convertis en un AFD. 
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^6- Automates a etats finis (AEF) 


Exemple : L'AFD qui reconnait le langage defini par l'expression 
reguliere : ( a | b ) * abb 
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^6- Automates a etats finis ( AEF) 

Exemple 2 : L'automate a etats finis deterministe d'un commentaire a la C 

autre/ 


debut > — 

09 09 


* 



* 



/ 



autre 


Exemple 3 : L'automate a etats finis deterministe d'un commentaire a la C++ 
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^-6- Automates a etats finis (AEF) 

Exemple 4 : L'automate a etats finis deterministe des 2 commentaires groupes 
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